Beliau menyertai Petronas pada tahun 1975 dan berkhidmat dalam pelbagai kapasiti termasuk sebagai pelatih eksekutif. Semasa kepimpinannya, beliau mengarahkan PETRONAS dalam melaksanakan projek mercu tanda strategik seperti Projek Penapisan Bersepadu dan Petrokimia Pengerang (RAPID), Projek Bintulu Train 9, Projek Kemudahan LNG Terapung PETRONAS dan Projek Terminal Regasifikasi di Melaka.

Beliau terus memperkuat kedudukan PETRONAS melalui pengambilalihan Progress Energy Canada dan pembangunan gas syal ke LNG menerusi projek LNG Pasifik Utara Barat. Beliau berkhidmat sebagai Ketua Pegawai Eksekutif, Pengarah Urusan dan Presiden MISC Berhad (Dahulunya Malaysia International Shipping Corporation Berhad) dari 1 Julai 2004 hingga 31 Disember 2008.

Beliau memegang jawatan sebagai Pengerusi NCB Holdings Bhd sejak 21 Januari 2016. Beliau berkhidmat sebagai Pengerusi PETRONAS Maritime Services Sdn Bhd. Dari 1 September 2015 hingga 1 Januari 2017, Shamsul Azhar memegang jawatan Pengerusi Petronas Gas.[5]